ChunkFT: Byte-Streamed Optimization for Memory-Efficient Full Fine-Tuning
ChunkFT：面向内存高效全参数微调的字节流优化框架
🧭 大模型全参数微调 · 字节流内存优化 ★ 深度解读
Northeastern University, China · Shanghai Jiao Tong University, China · CIS, LMU Munich, Germany · MCML, Germany · Shandong University, China
通过按字节预算划分模型参数为轮转块，仅激活当前块计算梯度，实现内存近似LoRA的全参数微调。
📌 工作参考价值（4 点）
- 在电商/推荐场景微调大模型受限于GPU内存时，可借鉴ChunkFT的轮转块训练策略：将模型按实际字节成本分块（不止按层），每次只针对当前块计算梯度与优化器状态，显著降低内存峰值且支持梯度累积与动量，避免因内存不足而被迫使用低效的PEFT方法。
- 块划分不依赖网络结构，适配Transformer各类算子（Embedding, Linear, LayerNorm），可直接嵌入现有HuggingFace/Torch训练流程，对业务代码侵入小。
- 字节均衡分块避免了层间参数量差异导致的内存抖动，使训练过程更稳定，便于在单卡上规模化调优（例如用一张24GB卡微调7B模型）。
- 轮转间隔T的选择对最终效果不敏感，可优先设置较大值加速收敛，减少工程调参负担；该设计也可迁移至推荐系统的稀疏参数更新（如Embedding表的轮转更新）。